9771
6231 
Sto cercando di ottenere RabbitMQ con Celery e Django su un'istanza EC2 per eseguire un'elaborazione in background piuttosto semplice. Sto eseguendo rabbitmq-server 2.5.0 su un'istanza EC2 di grandi dimensioni.
Ho scaricato e installato il client di prova seguendo le istruzioni qui (in fondo alla pagina). Ho appena lasciato andare lo script di test e sto ottenendo l'output previsto:
velocità di recupero: 2350 msg / s, latenza min / media / max: 588078478/588352905/588588968 microsecondi
velocità di recupero: 1844 msg / s, latenza min / media / max: 588589350/588845737/589195341 microsecondi
velocità di recupero: 1562 msg / s, latenza min / media / max: 589182735/589571192/589959071 microsecondi
velocità di recupero: 2080 msg / s, latenza min / media / max: 589959557/590284302/590679611 microsecondi
Il problema è che sta consumando una quantità incredibile di CPU:
PID USER PR NI VIRT RES SHR S% CPU% MEM TIME + COMMAND
668 conigliomq 20 0 618m 506m 2340 S 166 6.8 2: 31.53 beam.smp
1301 ubuntu 20 0 2142m 90m 9128 S 17 1.2 0: 24.75 java
Stavo testando su una microistanza in precedenza e stava consumando completamente tutte le risorse sull'istanza.
C'è da aspettarselo? Sto facendo qualcosa di sbagliato?
Grazie.
Modificare:
Il vero motivo di questo post è che il sedano sembra funzionare bene per un po 'e poi improvvisamente consuma tutte le risorse del sistema. Ho installato gli strumenti di gestione di rabbitmq e ho studiato come vengono create le code da sedano e dalla suite di test rabbitmq. Mi sembra che il sedano stia rendendo orfane queste code e non se ne andranno.
Ecco la coda generata dalla suite di test. Viene creata una coda e tutti i messaggi entrano e escono:
Celerybeat crea una nuova coda ogni volta che esegue l'attività:
Imposta il parametro di eliminazione automatica su true, ma non sono del tutto sicuro di quando queste code verranno eliminate. Sembra che si accumulino lentamente e mangino risorse.
Qualcuno ha un'idea?
Grazie.
2021-01-29 08:16:51 
Ok, ho capito.
Ecco la documentazione pertinente:
http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend
I vecchi risultati non verranno puliti automaticamente, quindi è necessario assicurarsi di consumare i risultati altrimenti il ​​numero di code alla fine andrà fuori controllo. Se stai utilizzando RabbitMQ 2.1.1 o una versione successiva, puoi sfruttare l'argomento x-expires per le code, che scadrà le code dopo un certo limite di tempo dopo che non saranno utilizzate. La scadenza della coda può essere impostata (in secondi) mediante l'impostazione CELERY_AMQP_TASK_RESULT_EXPIRES (non abilitata per impostazione predefinita).
|
Per aggiungere alla soluzione di Eric Conner al suo problema, http://docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices afferma:
Ignora i risultati che non desideri
Se non ti interessano i risultati di un'attività, assicurati di impostare l'opzione ignore_result, poiché la memorizzazione dei risultati fa perdere tempo e risorse.
@ app.task (ignore_result = True)
def mytask (...):
qualcosa()
I risultati possono anche essere disabilitati a livello globale utilizzando l'impostazione CELERY_IGNORE_RESULT.
Questo, insieme alla risposta di Eric, è probabilmente una best practice minima per la gestione del backend dei risultati.
Se non hai bisogno di un backend dei risultati, imposta CELERY_IGNORE_RESULT o non impostare affatto un backend dei risultati. Se hai bisogno di un backend dei risultati, imposta CELERY_AMQP_TASK_RESULT_EXPIRES in modo che sia protetto dall'accumulo di risultati inutilizzati. Se non ti serve per un'app specifica, imposta l'ignora locale come sopra.
|
la tua risposta
StackExchange.ifUsing ("editor", function () {
StackExchange.using ("externalEditor", function () {
StackExchange.using ("snippets", function () {
StackExchange.snippets.init ();
});
});
}, "frammenti di codice");
StackExchange.ready (function () {
var channelOptions = {
tag: "" .split (""),
id: "1"
};
initTagRenderer ("". split (""), "" .split (""), channelOptions);
StackExchange.using ("externalEditor", function () {
// Devo attivare l'editor dopo gli snippet, se gli snippet sono abilitati
if (StackExchange.settings.snippets.snippetsEnabled) {
StackExchange.using ("snippets", function () {
createEditor ();
});
}
altro {
createEditor ();
}
});
function createEditor () {
StackExchange.prepareEditor ({
useStacksEditor: false,
heartbeatType: 'answer',
autoActivateHeartbeat: false,
convertImagesToLinks: true,
noModals: true,
showLowRepImageUploadWarning: true,
reputationToPostImages: 10,
bindNavPrevention: true,
suffisso: "",
imageUploader: {
brandingHtml: "Powered by \ u003ca href = \" https: //imgur.com/ \ "\ u003e \ u003csvg class = \" svg-icon \ "width = \" 50 \ "height = \" 18 \ "viewBox = \ "0 0 50 18 \" fill = \ "none \" xmlns = \ "http: //www.w3.org/2000/svg \" \ u003e \ u003cpath d = \ "M46.1709 9.17788C46.1709 8.26454 46.2665 7.94324 47.1084 7.58816C47.4091 7.46349 47.7169 7.36433 48.0099 7.26993C48.9099 6.97997 49.672 6.73443 49.672 5.93063C49.672 5.22043 48.9832 4.61182 48.1414 4.61182C47.4335 4.62993C48.9099 6.97997 49.672 6.73443 49.672 5.93063C49.672 5.22043 48.9832 4.61182 48.1414 4.61182C47.4335 4.62481 46.72543 4.9162889 464562 46.72543 4.9162889 4.645.2543 4.6531 4.69562 4.65.695.65.69562 C4562 4.6531.495.65.69562 C4562.65.695.6531.495.69562 C4562. 43.1481 6.59048V11.9512C43.1481 13.2535 43.6264 13.8962 44.6595 13.8962C45.6924 13.8962 46.1709 13.2535 46.1709 11.9512V9.17788Z \ "/ \ u003e \ u003cpath d = \" M32.492 10.1419C32.418 14.695.0 37439 C32.418 14.695.0 14.6954C32.418 14.695.0 14.6954 41.5985 12.6954 41.5985 10.1419V6.59049C41.5985 5.28821 41.1394 4.66232 40.1061 4.66232C39.0732 4.66232 38.5948 5.28821 38.5948 6.59049V9.60062C38.5948 10.8521 38.2696 11.5455 37.0451 11.5455.5 C35.820 35 521 35.4954 9.60062V6.59049C35.4954 5.28821 35.0173 4.66232 34.0034 4.66232C32.9703 4.66232 32.492 5.28821 32.492 6.59049V10.1419Z \ "/ \ u003e \ u003cpath fill-rule = \" evenodd \ "clip-rule = \" evenodd \ "d = \ "M25.6622 17.6335C27.8049 17.6335 29.3739 16.9402 30.2537 15.6379C30.8468 14.7755 30.9615 13.5579 30.9615 11.9512V6.59049C30.9615 5.28821 30.4833 4.66231 29.4502 4.6.7331C28.9913 4.6624978 4.533 4.56087 4.560.856087 4.6624978 4.560.856087 4.533.456087 4.560.87.533.4556087 .1369 4.56087 21.0134 6.57349 21.0134 9.27932C21.0134 11.9852 23.003 13.913 25.3754 13.913C26.5612 13.913 27.4607 13.4902 28.1109 12.6616C28.1109 12.7229 28.1161 12.77993 28.121 12.8346C28.1252.70 15.2321 24.1352 14.9821 23.5661 14.7787C23.176 14.6393 22.8472 14.5218 22.5437 14.5218C21.7977 14.5218 21.2429 15.0123 21.2429 15.6887C21.2429 16.7375 22.9072 17.6335 25.6622 17.6335ZM24.9924 7,928 7,928 7,066 24 7,928 7,066 24 7,928 7,966 27.2119 7.09766 28.0918 7.94324 28.0918 9.27932C28.0918 10.6321 27.2311 11.5116 26.1024 11.5116C24.9737 11.5116 24.1317 10.6491 24.1317 9.27932Z \ "/ \ u003e \ u003cpath d = \" M16.8045 11.9512.25 17.89.89.662 C16.39.89.62.635.562 19.8079 13.2535 19.8079 11.9512V8.12928C19.8079 5.82936 18.4879 4.62866 16.4027 4.62866C15.1594 4.62866 14.279 4.98375 13.3609 5.88013C12.653 5.05154 11.6581 4.62866 10.3573 4.62866C9.34336 4.628.5066 8.57809 7.932 4.932 C.762.5079 8.57809 4.832 4.932 C.628.5079 8.57809 4.832 4.932 C.628.6796.51203 4.66232C5.47873 4.66232 5.00066 5.28821 5.00066 6.59049V11.9512C5. 893 13.2535 11.3711 13.8962 12.4044 13.8962C13.4375 13.8962 13.9157 13.2535 13.9157 11.9512V8.90741C13.9157 7.580.979 157911. 87209 0.400291C0.843612 0.400291 0 1.1159 0 1.98861C0 2.87869 0.822846 3.57676 1.87209 3.57676C2.90056 3.57676 3.7234 2.87869 3.7234 1.98861C3.7234 1.1159 2.90056 0.400291 1.87209 # 0.400291 \ u3 c / a \ u003e ",
contentPolicyHtml: "Contributi utente con licenza \ u003ca href =" https: //stackoverflow.com/help/licensing "\ u003ecc by-sa \ u003c / a \ u003e \ u003ca href =" https://stackoverflow.com / legal / content-policy \ "\ u003e (content policy) \ u003c / a \ u003e",
allowUrls: true
},
onDemand: true,
discardSelector: ".discard-answer"
, immediatamenteShowMarkdownHelp: true, enableTables: true, enableSnippets: true
});
}
});
Grazie per aver contribuito con una risposta a Stack Overflow!
Assicurati di rispondere alla domanda. Fornisci dettagli e condividi la tua ricerca!
Ma evita ...
Chiedere aiuto, chiarimenti o rispondere ad altre risposte.
Fare dichiarazioni basate su opinioni; Esegui il backup con riferimenti o esperienza personale.
Per saperne di più, consulta i nostri suggerimenti su come scrivere ottime risposte.
Bozza salvata
Bozza scartata
Registrati o fai il login
StackExchange.ready (function () {
StackExchange.helpers.onClickDraftSave ('# login-link');
});
Registrati utilizzando Google
Iscriviti utilizzando Facebook
Iscriviti utilizzando e-mail e password
Invia
Pubblica come ospite
Nome
E-mail
Obbligatorio, ma mai mostrato
StackExchange.ready (
funzione () {
StackExchange.openid.initPostLogin (". New-post-login", "https% 3a% 2f% 2fstackoverflow.com% 2fquestions% 2f6362829% 2frabbitmq-on-ec2-consuming-tons-of-cpu% 23new-answer", " question_page ');
}
);
Pubblica come ospite
Nome
E-mail
Obbligatorio, ma mai mostrato
Pubblica la tua risposta
Scartare
Facendo clic su "Pubblica la tua risposta", accetti i nostri termini di servizio, politica sulla privacy e politica sui cookie
Non è la risposta che stai cercando? Sfoglia altre domande taggate django rabbitmq sedano o fai la tua domanda.